近日,《Information Fusion》在线发表了我院涂兵教授团队在中科院SCI一区TOP期刊上发表的研究成果“NCGLF2:Network combining global and local features for fusion of multisource remote sensing data”。南京信息工程大学为第一署名单位,合作单位包括中国地质大学(武汉)、University of Extremadura、深圳大学。Information Fusion期刊影响因子为18.6,是中科院一区Top期刊,是人工智能领域与计算机科学的国际顶尖权威刊物,聚焦于信息融合、数据融合、知识融合等领域的研究,被录用的稿件反映了信息融合领域的前沿研究水平,根据最新的JCR统计,在“Computer Science: Artificial Intelligence”学科146个期刊中排名第3,在“Computer Science: Theory & Methods”学科110个期刊中排名第2。
本研究针对多源遥感数据融合中难以充分挖掘共有和特有特征的问题,提出了一种新的多源遥感数据全局与局部特征融合网络架构。首先,设计多尺度信息聚合模块用于浅层特征融合。其次,通过结构信息化Transformer架构提取全局特征,而可逆神经网络学习局部特征,以此捕获高频和低频信息。此外,引入了一种新型的特征分解损失函数,扩大特有特征之间的差异,缩小共有特征之间的距离。最后,通过全局-局部融合模块实现多源数据的最大化融合。在高光谱与Lidar数据融合实验中,提出的方法提高了模型在多源数据分类任务中的可解释性和性能。
研究工作得到了国家自然科学基金和南京信息工程大学科研启动经费支持,论文理论和技术成果可以广泛应用于多模态信息融合与智能机器人等其他融合领域,为多模态数据处理提供融合理论指导和技术支撑。
论文